Bài hát vốn là một bản hành khúc dành cho carnaval của Uruguay, phần giai điệu được anh sinh viên ngành kiến trúc 18 tuổi tên Gerardo Hernán "Becho" Matos Rodríguez soạn vào đầu năm 1916 ở Montevideo. Ngày 8 tháng 2 năm 1916, Matos Rodríguez nhờ người bạn Manuel Barca đưa bản nhạc cho Roberto Firpo xem, tại quán cà phê La Giralda. Firpo nhanh chóng nhận ra rằng ông có thể biến nó thành một bản nhạc tango. Bản nhạc khi ấy gồm hai đoạn, và Firpo bổ sung một đoạn nữa trích từ những bản tango của ông nhưng ít người biết là "La gaucha Manuela" and "Curda completa". Ông cũng dùng một phần của bài hát "Miserere" (của Giuseppe Verdi) lấy từ opera.[6][7] Nhiều năm sau đó, Firpo thuật lại khoảnh khắc đáng nhớ ấy như sau:

Vào năm 1916, tôi đang chơi nhạc tại quán cà phê La Giralda ở Montevideo, một ngày nọ có một người đàn ông đi với khoảng chừng 15 cậu trai - tất cả đều là học sinh sinh viên - đến nói rằng anh ta mang theo một bản hành khúc carnaval và muốn tôi phê bình nó vì họ nghĩ là nó có thể thành một bản tango. Họ nhờ tôi soát lại và tinh chỉnh bản nhạc ngay đêm ấy vì một cậu bé tên là Matos Rodríguez cần nó. Trong bản nhạc nhịp 2/4 này, phần giai điệu của nửa phần đầu có vẻ ít [hữu dụng] còn nửa phần sau thì chẳng có gì. Tôi có chiếc dương cầm và nhớ đến hai bản tango tôi sáng tác hồi 1906 nhưng không thành công: "La gaucha Manuela" và "Curda completa". Và thế là tôi trích một phần từ mỗi bài để đưa vào bản nhạc. Đêm đó tôi biểu diễn bản nhạc cùng với "Bachicha" Deambroggio và "Tito" Roccatagliatta, nhận được tán dương nhiệt liệt. Matos Rodríguez cứ đi qua đi lại như một nhà vô địch...Tuy nhiên bản tango bị quên lãng, về sau mới bắt đầu thành công trở lại khi Enrique Maroni và Pascual Contursi soạn lời ca cho nó.[8]

Firpo thu âm bản nhạc vào tháng 11 năm 1916 cho hãng Odeon Records - đĩa số 483.[6] Ông thu tại phòng thu của Max Glücksmann ở Buenos Aires, Argentina và thuê hai nghệ sĩ vĩ cầm, một nghệ sĩ bandoneón (Juan Bautista "Bachicha" Deambrogio) và một nghệ sĩ flute còn ông làm trưởng dàn nhạc và chơi dương cầm.[9] Bản nhạc ra mắt trên mặt B của đĩa hát 78 vòng, thu được thành công ít ỏi và chìm vào quên lãng sau vài năm.[9]

Năm 1924, nghệ sĩ người Argentina Pascual Contursi đặt lời cho bản nhạc, khiến nó nhanh chóng biến thành một bản hit. Phiên bản này hiện được coi là bài hát tango nổi tiếng nhất trên thế giới, đứng ngay phía trước bản "El Choclo".[10] Contursi thu âm bài hát dưới nhan đề "Si Supieras" (nghĩa là "Nếu bạn biết"). Thời gian đó Matos Rodríguez đang sống tại Paris, Pháp. Anh phát hiện tác phẩm đã trở nên nổi tiếng lúc nói chuyện với nghệ sĩ vĩ cầm kiêm trưởng dàn nhạc tango người Uruguay Francisco Canaro khi ông đang biểu diễn bài hát dưới tựa đề "Si Supieras". Canaro cho anh biết rằng bài hát được "tất cả các dàn nhạc cuồng mê".[9] Matos Rodríguez dành hai thập niên tiếp theo để đấu tranh pháp lý đòi tiền tác quyền và cuối cùng cũng thành công khi đảm bảo rằng bài hát từ giờ sẽ lấy lại nhan đề cũ là "La cumparsita". Tuy nhiên, phần lời hát của Contursi đã gắn chặt với bài hát.

Năm 1948, Canaro dàn xếp một thỏa thuận giúp chấm dứt các vụ kiện tụng. Ông xác định 20% tiền tác quyền sẽ thuộc về Contursi và đối tác kinh doanh của Contursi là Enrique P. Maroni. 80% còn lại sẽ thuộc về Matos Rodríguez. Canaro cũng định ra rằng các tờ nhạc in trong tương lai sẽ in phần lời của Contursi kèm với các phần lời ít nổi tiếng do Matos Rodríguez viết, ngoài ra không in bất cứ phần lời nào khác.[9]